Point clouds are characterized by irregularity and unstructuredness, which pose challenges in efficient data exploitation and discriminative feature extraction. In this paper, we present an unsupervised deep neural architecture called Flattening-Net to represent irregular 3D point clouds of arbitrary geometry and topology as a completely regular 2D point geometry image (PGI) structure, in which coordinates of spatial points are captured in colors of image pixels. \mr{Intuitively, Flattening-Net implicitly approximates a locally smooth 3D-to-2D surface flattening process while effectively preserving neighborhood consistency.} \mr{As a generic representation modality, PGI inherently encodes the intrinsic property of the underlying manifold structure and facilitates surface-style point feature aggregation.} To demonstrate its potential, we construct a unified learning framework directly operating on PGIs to achieve \mr{diverse types of high-level and low-level} downstream applications driven by specific task networks, including classification, segmentation, reconstruction, and upsampling. Extensive experiments demonstrate that our methods perform favorably against the current state-of-the-art competitors. We will make the code and data publicly available at https://github.com/keeganhk/Flattening-Net.

Image-based head swapping task aims to stitch a source head to another source body flawlessly. This seldom-studied task faces two major challenges: 1) Preserving the head and body from various sources while generating a seamless transition region. 2) No paired head swapping dataset and benchmark so far. In this paper, we propose an image-based head swapping framework (HS-Diffusion) which consists of a semantic-guided latent diffusion model (SG-LDM) and a semantic layout generator. We blend the semantic layouts of source head and source body, and then inpaint the transition region by the semantic layout generator, achieving a coarse-grained head swapping. SG-LDM can further implement fine-grained head swapping with the blended layout as condition by a progressive fusion process, while preserving source head and source body with high-quality reconstruction. To this end, we design a head-cover augmentation strategy for training and a neck alignment trick for geometric realism. Importantly, we construct a new image-based head swapping benchmark and propose two tailor-designed metrics (Mask-FID and Focal-FID). Extensive experiments demonstrate the superiority of our framework. The code will be available: https://github.com/qinghew/HS-Diffusion.

Brain extraction and registration are important preprocessing steps in neuroimaging data analysis, where the goal is to extract the brain regions from MRI scans (i.e., extraction step) and align them with a target brain image (i.e., registration step). Conventional research mainly focuses on developing methods for the extraction and registration tasks separately under supervised settings. The performance of these methods highly depends on the amount of training samples and visual inspections performed by experts for error correction. However, in many medical studies, collecting voxel-level labels and conducting manual quality control in high-dimensional neuroimages (e.g., 3D MRI) are very expensive and time-consuming. Moreover, brain extraction and registration are highly related tasks in neuroimaging data and should be solved collectively. In this paper, we study the problem of unsupervised collective extraction and registration in neuroimaging data. We propose a unified end-to-end framework, called ERNet (Extraction-Registration Network), to jointly optimize the extraction and registration tasks, allowing feedback between them. Specifically, we use a pair of multi-stage extraction and registration modules to learn the extraction mask and transformation, where the extraction network improves the extraction accuracy incrementally and the registration network successively warps the extracted image until it is well-aligned with the target image. Experiment results on real-world datasets show that our proposed method can effectively improve the performance on extraction and registration tasks in neuroimaging data. Our code and data can be found at https://github.com/ERNetERNet/ERNet

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

两阶段探测器在3D对象检测中已广受欢迎。大多数两阶段的3D检测器都使用网格点，体素电网或第二阶段的ROI特征提取的采样关键点。但是，这种方法在处理不均匀分布和稀疏的室外点方面效率低下。本文在三个方面解决了这个问题。 1）动态点聚集。我们建议补丁搜索以快速在本地区域中为每个3D提案搜索点。然后，将最远的体素采样采样用于均匀采样点。特别是，体素尺寸沿距离变化，以适应点的不均匀分布。 2）Ro-Graph Poling。我们在采样点上构建本地图，以通过迭代消息传递更好地模型上下文信息和地雷关系。 3）视觉功能增强。我们引入了一种简单而有效的融合策略，以补偿具有有限语义提示的稀疏激光雷达点。基于这些模块，我们将图形R-CNN构建为第二阶段，可以将其应用于现有的一阶段检测器，以始终如一地提高检测性能。广泛的实验表明，图R-CNN的表现优于最新的3D检测模型，而Kitti和Waymo Open DataSet的差距很大。我们在Kitti Bev汽车检测排行榜上排名第一。代码将在\ url {https://github.com/nightmare-n/graphrcnn}上找到。

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

传统上，辩论通常需要手动准备过程，包括阅读大量文章，选择索赔，确定索赔的立场，寻求索赔的证据，等等。由于AI辩论吸引了更多的关注，因此值得探索辩论系统中涉及的乏味过程的方法。在这项工作中，我们介绍了一个名为IAM的全面且大的数据集，可以应用于一系列参数挖掘任务，包括主张提取，立场分类，证据提取等。我们的数据集从与123个主题有关的1K文章中收集了。 。数据集中的接近70k句子是根据其论点属性（例如，索赔，立场，证据等）完全注释的。我们进一步提出了与辩论准备过程相关的两个新的集成参数挖掘任务：（1）使用立场分类（CESC）和（2）索赔 - 证据对提取（CEPE）提取索赔。我们为每个集成任务分别采用管道方法和端到端方法。据报道，有希望的实验结果显示了我们提议的任务的价值和挑战，并激发了未来关于论证挖掘的研究。

在本文中，我们介绍了VCSL（视频复制段本地化），这是一种新的综合段级注释的视频复制数据集。与受视频级注释或小规模限制的现有复制检测数据集相比，VCSL不仅具有两个段级标签的数据级，其中有160k现实的视频副本对，其中包含超过280k的本地化copied seggment对，而且还包含超过280k涵盖各种视频类别和各种视频持续时间。每个收集的视频对中的所有复制段均经过手动提取，并伴随着精确注释的启动和结束时间戳。除了数据集外，我们还提出了一种新颖的评估协议，该协议可以更好地衡量视频对之间复制重叠段的预测准确性，并在不同情况下显示出改善的适应性。通过使用拟议的数据集和评估指标对几个基线和最先进的细分级视频副本检测方法进行基准测试，我们提供了一项全面的分析，可以揭示当前方法的优势和劣势作品。 VCSL数据集，公制和基准代码均在https://github.com/alipay/vcsl上公开获得。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。